TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training
TurnOPD：让在策略蒸馏感知轮次以实现高效长时智能体训练
🧭 在策略蒸馏的轮次感知预算优化
复旦大学 · 腾讯混元
通过轮次级预算策略解决长时智能体训练中全轮次 rollout 浪费与令牌级损失偏向浅层的问题
📌 工作参考价值（4 点）
- 自适应 rollout 深度：可借鉴到电商对话 Agent 训练，当模型在多轮交互中已产生足够确定性决策时提前终止 rollout，节省推理时间，适合在线学习场景。
- 渐进式轮次归一化损失：解决序列开头 token 损失占比过高的问题，让训练更关注中后段的关键决策点，适用于需要多步工具调用或搜索推理的推荐/购物助手 Agent。
- 探针统计指导预算分配：通过简单探测动作分布决定是否继续 rollout，这一思路可复用到流式训练资源调度中，动态决定分配给不同样本的计算量。
- 基于壁钟时间的公平比较：该评估方式对业务系统有启示，实际部署更关心训练时间而非采样数，优化壁钟效率比仅看样本效率更有工程价值。